我们在分类的背景下研究公平,其中在接收器的曲线下的区域(AUC)下的区域测量的性能。当I型(误报)和II型(假阴性)错误都很重要时,通常使用AUC。然而,相同的分类器可以针对不同的保护组具有显着变化的AUC,并且在现实世界中,通常希望减少这种交叉组差异。我们解决如何选择其他功能,以便最大地改善弱势群体的AUC。我们的结果表明,功能的无条件方差不会通知我们关于AUC公平,而是类条件方差。使用此连接,我们基于功能增强(添加功能)来开发一种新颖的方法Fairauc,以减轻可识别组之间的偏差。我们评估综合性和现实世界(Compas)数据集的Fairauc,并发现它对于相对于基准,最大限度地提高了总体AUC并最大限度地减少了组之间的偏见的基准,它显着改善了弱势群体的AUC。
translated by 谷歌翻译
Many visualization techniques have been created to help explain the behavior of convolutional neural networks (CNNs), but they largely consist of static diagrams that convey limited information. Interactive visualizations can provide more rich insights and allow users to more easily explore a model's behavior; however, they are typically not easily reusable and are specific to a particular model. We introduce Visual Feature Search, a novel interactive visualization that is generalizable to any CNN and can easily be incorporated into a researcher's workflow. Our tool allows a user to highlight an image region and search for images from a given dataset with the most similar CNN features. It supports searching through large image datasets with an efficient cache-based search implementation. We demonstrate how our tool elucidates different aspects of model behavior by performing experiments on supervised, self-supervised, and human-edited CNNs. We also release a portable Python library and several IPython notebooks to enable researchers to easily use our tool in their own experiments. Our code can be found at https://github.com/lookingglasslab/VisualFeatureSearch.
translated by 谷歌翻译
Classification on smartphone-captured chest X-ray (CXR) photos to detect pathologies is challenging due to the projective transformation caused by the non-ideal camera position. Recently, various rectification methods have been proposed for different photo rectification tasks such as document photos, license plate photos, etc. Unfortunately, we found that none of them is suitable for CXR photos, due to their specific transformation type, image appearance, annotation type, etc. In this paper, we propose an innovative deep learning-based Projective Transformation Rectification Network (PTRN) to automatically rectify CXR photos by predicting the projective transformation matrix. To the best of our knowledge, it is the first work to predict the projective transformation matrix as the learning goal for photo rectification. Additionally, to avoid the expensive collection of natural data, synthetic CXR photos are generated under the consideration of natural perturbations, extra screens, etc. We evaluate the proposed approach in the CheXphoto smartphone-captured CXR photos classification competition hosted by the Stanford University Machine Learning Group, our approach won first place with a huge performance improvement (ours 0.850, second-best 0.762, in AUC). A deeper study demonstrates that the use of PTRN successfully achieves the classification performance on the spatially transformed CXR photos to the same level as on the high-quality digital CXR images, indicating PTRN can eliminate all negative impacts of projective transformation on the CXR photos.
translated by 谷歌翻译
我们研究了从类别理论的数学字段中的英语文本中提取数学实体的不同系统,作为构建数学知识图的第一步。我们考虑四个不同的术语提取器,并比较它们的结果。这个小实验展示了从嘈杂域文本中提取的术语的构建和评估的一些问题。我们还提供了研究数学的两个开放语料库,尤其是类别理论:一小部分来自TAC期刊(3188个句子)的摘要,以及来自NLAB社区Wiki(15,000个句子)的较大语料库。
translated by 谷歌翻译
基于概念的解释性方法旨在使用一组预定义的语义概念来解释深度神经网络模型的预测。这些方法在新的“探针”数据集上评估了训练有素的模型,并将模型预测与该数据集中标记的视觉概念相关联。尽管他们受欢迎,但他们的局限性并未被文献所理解和阐明。在这项工作中,我们分析了基于概念的解释中的三个常见因素。首先,选择探针数据集对生成的解释有深远的影响。我们的分析表明,不同的探针数据集可能会导致非常不同的解释,并表明这些解释在探针数据集之外不可概括。其次,我们发现探针数据集中的概念通常比他们声称要解释的课程更不太明显,更难学习,这使解释的正确性提出了质疑。我们认为,仅在基于概念的解释中才能使用视觉上的显着概念。最后,尽管现有方法使用了数百甚至数千个概念,但我们的人类研究揭示了32个或更少的概念更严格的上限,除此之外,这些解释实际上不太有用。我们对基于概念的解释性方法的未来发展和分析提出建议。可以在\ url {https://github.com/princetonvisualai/overlookedfactors}找到我们的分析和用户界面的代码。
translated by 谷歌翻译
已知性别偏见存在于大规模的视觉数据集中,并且可以在下游模型中反映甚至扩大。许多先前的作品通常通过尝试从图像中删除性别表达信息来减轻性别偏见。为了理解这些方法的可行性和实用性,我们研究了大规模视觉数据集中存在的$ \ textit {gengender伪像} $。我们将$ \ textit {性别伪像} $定义为与性别相关的视觉提示,专门针对那些由现代图像分类器学习并具有可解释的人类推论的线索。通过我们的分析,我们发现性别伪像在可可和开放型数据集中无处不在,从低级信息(例如,颜色通道的平均值)到图像的高级组成(例如姿势和姿势和姿势,,,,,,,,,地和图像的平均值),无处不在(例如,姿势和姿势,姿势和姿势,,,姿势和姿势,是姿势和姿势,是姿势和姿势,是姿势和姿势的平均值)。人的位置)。鉴于性别文物的流行,我们声称试图从此类数据集中删除性别文物的尝试是不可行的。取而代之的是,责任在于研究人员和从业人员意识到数据集中图像的分布是高度性别的,因此开发了对各组之间这些分配变化的强大方法。
translated by 谷歌翻译
在过去的十年中,深度学习模型在机器学习的不同领域取得了巨大的成功。但是,这些模型的大小和复杂性使它们难以理解。为了使它们更容易解释,最近的一些作品着重于通过人类解剖的语义属性来解释深神网络的部分。但是,仅使用语义属性完全解释复杂的模型可能是不可能的。在这项工作中,我们建议使用一小部分无法解释的功能来增强这些属性。具体而言,我们开发了一个新颖的解释框架(通过标记和未标记分解的解释),将模型的预测分解为两个部分:一个可以通过语义属性的线性组合来解释,而另一部分则取决于未解释的功能。 。通过识别后者,我们能够分析模型的“无法解释的”部分,从而了解模型使用的信息。我们表明,一组未标记的功能可以推广到具有相同功能空间的多种型号,并将我们的作品与两种流行的面向属性的方法,可解释的基础分解和概念瓶颈进行比较,并讨论Elude提供的其他见解。
translated by 谷歌翻译
贝叶斯方法是由于先验引起的正则化效应,这是对统计学的统计推断的流行选择,该效应可抵消过度拟合。在密度估计的背景下,标准的贝叶斯方法是针对后验预测。通常,后验预测的直接估计是棘手的,因此方法通常诉诸于后验分布作为中间步骤。然而,最近的递归预测copula更新的开发使得无需后近似即可执行可拖动的预测密度估计。尽管这些估计器在计算上具有吸引力,但它们倾向于在非平滑数据分布上挣扎。这在很大程度上是由于可能从中得出所提出的Copula更新的可能性模型的相对限制性形式。为了解决这一缺点,我们考虑了具有自回归似然分解和高斯过程的贝叶斯非参数模型,该模型在Copula更新中产生了数据依赖于数据的带宽参数。此外,我们使用自回归神经网络对带宽进行新的参数化,从而将数据映射到潜在空间中,从而能够捕获数据中更复杂的依赖性。我们的扩展增加了现有的递归贝叶斯密度估计器的建模能力,从而在表格数据集上实现了最新的结果。
translated by 谷歌翻译
远程编程机器人执行任务通常依赖于在机器人环境中注册感兴趣的对象。这些任务通常涉及阐明物体,例如打开或关闭阀门。但是,现有的注册对象的人类在循环方法中不考虑发音和对象几何形状的相应影响,这可能导致方法失败。在这项工作中,我们提出了一种方法,其中注册系统尝试使用非线性拟合和迭代性最接近点算法来自动确定用户选择点的对象模型,姿势和表达。当拟合不正确时,操作员可以迭代干预校正,然后系统将重新装置对象。我们介绍了具有反击关节的一种自由度(DOF)对象的拟合程序的实施,并通过用户研究对其进行评估,该用户研究表明,它可以改善用户的性能,在任务和任务负载的时间范围内,易于与手动注册方法相比,使用和有用性。我们还提出了一个示例,该示例将我们的方法集成到一个端到端系统中,以阐明远程阀。
translated by 谷歌翻译
由于机器学习越来越多地应用于高冲击,高风险域,因此有许多新方法旨在使AI模型更具人类解释。尽管最近的可解释性工作增长,但缺乏对所提出的技术的系统评价。在这项工作中,我们提出了一种新的人类评估框架蜂巢(可视化解释的人类可解释性),用于计算机愿景中的不同解释性方法;据我们所知,这是它的第一个工作。我们认为,人类研究应该是正确评估方法对人类用户的可解释方式的金标。虽然由于与成本,研究设计和跨方法比较相关的挑战,我们常常避免人类研究,但我们描述了我们的框架如何减轻这些问题并进行IRB批准的四种方法,这些方法是代表解释性的多样性:GradCam,Bagnet ,protopnet和prodotree。我们的结果表明,解释(无论它们是否实际正确)发芽人类信任,但用户对用户不够明确,以区分正确和不正确的预测。最后,我们还开展框架以实现未来的研究,并鼓励更多以人以人为本的解释方法。
translated by 谷歌翻译